学术观点| 周季鸣 、万江波 ：大学英语课堂口头报告的评价标准——基于扎根理论的探索性研究

查看原文

其他

学术观点| 周季鸣、万江波：大学英语课堂口头报告的评价标准——基于扎根理论的探索性研究

研值高的关注了→ 语言学通讯 2021-03-17

点

击语言学通讯关注我们

大学英语课堂口头报告的评价标准——基于扎根理论的探索性研究

周季鸣万江波

复旦大学外文学院

摘要:本研究以扎根理论为路径, 围绕口头报告任务中不同主体对评价标准的认识和实践展开, 探索如何设计和使用口头报告评价标准促进教学。研究搜集对11位教师的单人访谈和60位学生一学期同伴反馈文本, 采用三级编码方式, 得出评价标准性质、内容、产生、使用和作用五项类属。研究发现标准透明化值得提倡。师生都需要直观的评价标准指引以关注从表层内容到深层能力的各项维度。再者, 评价标准应与其他评价任务保持建构性一致, 共同指向课程的目标能力。研究进一步将发现去具体化, 得出三个抽象程度更高的原则:评价标准的透明性、具体性和一致性。本研究在方法上具有创新性, 将有助于培养教师课堂评估素养, 完善大学英语多元评价体系具体建立。

关键词:口头报告; 评价标准; 扎根理论;

作者简介：周季鸣, 复旦大学外文学院大学英语教学部讲师, 博士, 研究方向:外语教学、促学评价。万江波, 复旦大学外文学院大学英语教学部副教授, 博士, 研究方向:英语演讲教学、双语词典学。

项目基金：国家社会科学基金青年项目“中国大学生思辨能力的英语课堂评价和发展研究” (项目编号:17CYY022) 的阶段性研究成果;

期刊动态|《外语教学》2019年第4期目录

文献来源：周季鸣,万江波.大学英语课堂口头报告的评价标准——基于扎根理论的探索性研究[J].外语教学,2019,40(04):66-71.

质性研究/扎根理论专著语言学通讯推荐
欢迎点击选购

1.引言

口头报告 (oral presentation) 是大学课堂中常见的学习评价方式。在强调产出为导向的大学英语课堂中 (文秋芳 2016) , 口头报告是多元评价的重要形式 (金艳 2010) , 它不仅锻炼英语表达能力, 也能发展学生协同合作、综合分析等高阶思维能力 (van Ginkel et al. 2015) 。在2000年以来外语类核心期刊的“全文”中搜索发现, “口头报告”或其相关译文出现在一百多篇文章中, 涉及课程建设 (陈朗 2010) 、学习者研究 (夏赛辉、张文忠 2017) 、形成性评价 (万江波 2013) 等方面。但聚焦口头报告本身的不足十篇, 研究其评价标准的更是少之又少。

在多元评价任务中, 如何设计和使用评价标准以帮助学生进步, 这一问题在理论中尚有争论。尽管教育评价领域的共识是, 透明化的评价标准能帮助学生更好地理解目标, 但透明化是否意味着将标准写得极尽细致, 高阶思维能力中隐性标准能否被准确描述, 学者们对这些问题持不同看法。Reddy & Andrade (2010) 综述了13个大型数据库中有关评价标准的实证研究, 发现有研究 (Petkov & Petkova 2006) 汇报与学生分享评价标准促进成绩提升, 但另一些研究 (Green & Bowser 2006) 则发现有无标准对成果质量并无影响。评价标准是否能促进学习似乎不在于有无标准, 而更多取决于标准的制定和使用过程。

有鉴于此, 本文采用扎根理论 (Grounded Theory) 的研究路径, 探索大学英语课堂中教师和学生对口头报告评价标准的理解和实践。扎根理论提炼和生成的相关理论将为如何使用标准发挥评价的促学作用提供启示, 也将有助于培养教师课堂评估素养 (许悦婷、张仁霞 2017) , 完善大学英语多元评价体系建立。

2. 文献回顾

De Grez (2009: 5) 将口头报告能力定义为:“在公众场合演说以达到传递信息、自我表达、建立联系和劝导说服等目的所需的知识、技能和态度。”口头报告任务要求考生能描述经历、叙述经过、说明情况、讨论感受和收获, 体现了语言的意念功能, 即表达现实经历、内心世界和真实情感 (吕生禄 2018: 53) 。口头报告能力的认知、行为和情感层面是相互联系的, 对口头报告能力的评价自然也涉及多个维度。van Ginkel et al. (2015) 基于52篇相关文献的综述发现, 常用的口头报告评价标准包括内容、形式、呈现和与观众的互动等维度。陈朗 (2010) 从观测学生语言交际综合能力发展的角度, 将公众英语演讲的评价标准设为语言能力 (组织、运用) 、社会文化知识及思维能力、策略能力、心理生理调控能力四大维度。万江波 (2013) 在英语演讲课中, 为鼓励学生关注内容、语言能力和思辨能力, 选题、内容、语言、逻辑与论证等维度在评价标准中被赋予更大比重。朱妮娅 (2018) 的新闻英语课堂中, 口头报告的标准则更多侧重内容:标题巧妙性、表现创造性、小组合作水平、反思和批判性分析、结构和讲述清晰度。

以上文献梳理发现, 口头报告能力具有多维度特征, 目标能力会因为课程目标不同而体现出差异。总体说来, 口头报告能力不仅包括语言能力, 也包括评价和发展报告者的综合、反思、创造、合作等高阶思维能力。

如何才能让学生理解口头报告的多维度能力呢?van Ginkel et al. (2015:68) 基于相关文献提炼出的七条发展学生口头报告能力的原则中, 第一条即为:“确保明白清晰地与学生沟通学习目标, 并将学习目标写入评价标准中。”然而, 一些学者 (Boud & Falchikov 2006) 也提醒, 如果片面强调将抽象的学习目标具体化, 有可能会将一些高阶学习能力不恰当地碎片化。学习目标有显性和隐性维度, 显性标准能够被言语描述写进评价标准中, 但更高阶的综合、评价、创造等能力却往往很难用言语简单描述 (O’Donovan et al. 2004) 。

不同文化中, 人们对评价标准清晰度的喜好和对其模糊度的容忍程度也存在差异。Zhou & Deneen (2016) 采访了“外教社杯”全国英语教学大赛的17位决赛选手, 其中有10位教师汇报他们不会在评价任务之前向学生透露标准, 而是会将有关标准的信息在之后的反馈中传递。此做法似乎与国际教育评价文献中对评价标准透明度的强调有所不同, 也与近年国内口头报告研究发现有出入。

综上所述, 口头报告是常见的课堂评价活动, 但现有研究围绕其评价标准的制定和使用存在争论。虽然大多数文献支持设定清晰的标准并在任务前与学生分享, 但也有不少研究者表达了对外化隐性标准可行性和效果的质疑。本文研究不同主体对评价标准的认识和实践, 探索如何设计和使用口头报告评价标准以促进教学。

3. 研究方法

3.1 研究设计

扎根理论是一种质性研究路径, 在20世纪60年代由美国学者格拉斯和施特劳斯提出 (Glaser & Strauss 1967) 。扎根理论不是基于已有的理论框架验证假设, 而是对研究现象持一种开放的态度, 通过观察、互动等方式搜集有关研究问题的数据, 再“扎根”于数据中, 通过区分、归类和综合数据而发展理论。

本研究搜集了三部分数据, 各自的主题、来源和搜集方法见表1。

第一组数据来自教师访谈, 旨在研究大学英语教师对口头报告评价标准的理解和使用。本研究采取“有目的的抽样”原则, 不是基于人口的代表性, 而是以建构理论为目的, 选取能够为研究问题提供最大涵盖度的访谈对象。访谈和分析交错进行, 当不再有新信息和概念出现时, 根据扎根理论的信息饱和原则, 笔者停止招募新的教师参与者。最终, 11名教师参与深度访谈 (见表2) 。

第一组数据分析发现, 教师在“是否与学生分享评价标准”这一点上做法有很大不同。当学生没有明确的评价标准指引时, 他们在口头报告中关注的是哪些维度?为回答这个问题, 第二组数据搜集了学生对同伴的口头报告所做的文字评价。某211高校大学一年级英语课堂, 两个班级共60名学生每周在聆听同学的英语口头报告之后, 立刻在手机的“出题优”软件上匿名输入给同伴的反馈 (如图1所示) 。教师并未公布详细标准, 因而学生反馈文本反映出他们对于评价标准的理解。整个学期中搜集到的学生评论共1143条。

第一、二组数据的分析结果显示, 无评价知识背景的教师、有评价知识背景的教师、学生这三个群体对口头报告的评价标准理解是不同的。据此, 笔者进行了第三组数据的采集, 对系统修习过语言评价课程或判断自身具备丰富评价知识的教师 (T4, T5, T6) 进行跟进访谈, 搜集评价表格、对学生的邮件指示等文档, 重点研究她们对口头报告任务评价标准的理解和使用。

3.2 数据分析

本文采用Strauss和Corbin (1990) 推荐的三级编码方式分析数据。在第一级开放式编码过程中, 依据“契合”和“相关”的原则贴近访谈的转录文本进行逐行编码, 尽可能使用采访对象自己的词语生成原生代码。第二级聚焦编码阶段, 聚合最重要和出现频率最高的初始代码, 使代码充分反映数据, 形成类属、属性。第三级轴心编码建立起类属之间的联系。一级开放编码具体示例见表3。

第二组的学生反馈内容数据主要属于“标准的内容”类属。在分析时, 学生在课堂即时互动软件中输入的文本被导出、分析概况和归纳标识。首先提炼概念, 确定25个开放式编码 (包括选题、观点、语音、流畅度、投入程度等等) 。随后通过对概念及其关系的反复分析, 整合出更高抽象层次的范畴, 开放式编码被综合为五个分类属 (内容、语言、演讲呈现、准备和笼统点评) 。

4. 研究发现

本部分将展示和分析扎根于数据中生成的口头报告评价标准的类属、属性和维度 (见表4) 。

4.1 评价标准的性质

口头报告被教师理解成“筛选门槛”“报告模板”和“能力描述”。对标准性质的理解与“产生”“内容”和“使用”都有密切关系, 是此研究的核心类属。

评价标准被一部分教师 (T1, T3, T10) 理解成判断学生是否合格的“门槛”。也有一部分教师 (T7, T11) 理解为“报告模板”。

(1) “我不能把口头标准说得特别清晰, 这样会伤害到一些学生的自尊心。你不能说你做到这个程度就可以了。而对能力强的学生, 看到标准不高他可能就会随便做做, 不走心。” (T10)

(2) “你给学生标准的话, 会束缚他, 他会说, 哦, 这就是模板, 我只能跟着这个走, 其他都不能再创新了。” (T11)

T4和T5把评价标准描述为多维能力连续体。T4指出, 评价标准不应是非常具体的口头报告模板, 而应该是从优秀模板中抽象出的能力描述。因而, 她会给学生提供很多优秀口头报告视频, 让学生总结抽象标准。

(3) “我提供的是元认知层面的指导, 怎么做, 怎么找资源。反思总结演讲的好坏, 就是一个培养思辨能力的过程。” (T5)

(4) “在这个连续体中, 对能力的描述是从低阶向高阶过渡的, 每位学生都应该能找到对应的位置, 也都有前方进步的空间。

4.2 评价标准的产生

在所有被访教师的课堂中, 口头报告都是常见的课堂评价活动, 但并不是每一位教师都有成文的评价标准。11位教师中, 有4位教师 (T1, T2, T10和T11) 没有使用成文的评价标准, 他们倾向“将评价标准体现在给学生的口头反馈中” (T1) 。这几位教师的共识是, “标准是在老师心里的” (T10) , 是属于教师隐性知识。

另外7位教师参照的书面评价标准分别由教研室统一制定 (T3, T7, T8, T9) 、教师自行设计 (T6) , 师生共同制定 (T4, T5) 。如T5的“大学英语”和“英语演讲”课程中, 口头报告评价标准就由师生共同构建。具体做法是, 教师在学期开始时分享优质演讲视频, 指导学生在观看视频时重点关注哪些方面。之后基于学生总结的优缺点确定评价标准, 并制作成清单式评价标准。

4.3 评价标准的内容

评价标准内容的属性包括:维度 (单一—多样) , 描述 (笼统—细致) 、与课程的联结 (联结内容—联结能力) 。

访谈数据显示, 无论有无成文标准, 教师们都从多维度评价学生口头报告。在11位访谈教师中, 不同维度出现频率由高到低排列为:报告内容 (11位教师) 、演讲呈现 (9位) 、报告语言 (7位教师) 、课前准备 (4位教师) 、报告结构 (2位教师) 、与听众互动 (2位教师) 、组内合作 (1位教师) 。

无成文评价标准的教师, 对各评价维度的描述一般是笼统概括的。以每位教师都提到的“报告内容”维度为例。T2, T10在采访中说, 针对内容的评论因具体话题不同有变化, 一般侧重“评论学生理解得对不对”、“看他们重点有没有抓出来”、“有没有比较好的思想内容”。

使用书面评价标准的课堂中, 教师对各维度的描述更为固定、具体, 可操作性更强。同样以“内容”维度为例, 在T3的“学术英语”课中, “内容”维度描述的是学生选取的材料来源是否具有权威性。在T4的“商务英语”课中, 学生需要模拟商业案例, 向一个公司介绍并推销自己的产品, 口头任务涉及课前的搜索材料、阅读、讨论、综合, 课中的英语报告, 报告结束后接受同伴的问询。评价标准包括知识获取、演讲展示、与听众沟通互动、语言使用、回答问题五个维度, 对“报告内容”维度的评价, 主要是判断学生是否在课前搜索和阅读材料时获取了新知识。再如, T6的“研究方法与写作”课程中, 口头报告话题包括:在数据库中寻找文献、在图书馆中识别有质量的文献来源、使用文献管理软件、分析优秀论文的特征等。内容维度包括了内容的充实度、信息的清晰度和重点的聚焦度三方面。

在没有书面评价标准的指引时, 学生会从哪些维度点评同伴的口头报告呢?笔者对U1大学两个班级大一学生给同伴的1143条匿名评论进行了分析 (见图2) 。学生的“笼统点评”高达312条, 这类点评没有区分口头报告任务所涉及的不同方面, 无法归入任何一项评价维度中, 如“口语好”“发挥不错”。

在有针对性细分的评论内容中, 最频繁出现的三大维度是:内容、演讲呈现和语言, 紧接着是准备充分度。在“内容”维度, 频率最高的子维度是选题、论据、观点和结构。“演讲呈现”维度中, 学生评论的频率由高到低依次是精神面貌, 声音大小, 语速, 互动和身体语言。“语言”维度, 三个子维度分别是流畅度、语音语调、语法。

从单项子维度来看, 学生一个学期逾千条反馈中, 最多的评论 (377条) 涉及“内容”维度下的“选题”, 他们更倾向点评口头报告的内容与自己相关的部分, 如:某某电影我也看过, Bob Dylan这位歌手我也喜欢等。与其说是给同伴评论, 不如说是在同伴报告的激发下描述自己的生活体验。即使是对论据和观点的评论, 也更多侧重自己认不认同这种观点, 而非报告者的观点有无论据支撑。

将教师和学生有关评价标准内容的数据对比分析, 发现学生在评价同伴时, 与没有使用成文评价标准的教师有相似的关注点, 即对口头报告本身的内容做笼统点评。口头报告这项任务与课程的联结点体现在内容上。而在教师自行设计或与学生共同构建评价标准的课堂中, 口头报告与课程的联结更多地体现在对接课程的目标能力上。有丰富评估素养的教师 (T4, T5, T6) 不仅将口头报告看作一项语言活动, 更将其置于整个课程环境中考量, 指向和对接课程的总目标。在同一个课程模块下, 口头报告任务与其他课堂评价任务互为关联。如T4的课堂中, 搜寻资料、口头任务、讨论、写作围绕同一话题, 口头报告只是评价任务链上的一环。

4.4 评价标准的使用

教师们在使用评价标准的时间、主体、目的和结果方面展现出了不同。

在绝大多数被访教师的课堂中, 教师是使用评价标准的主体, 在学生完成口头报告之后点评并打分。一些教师 (T1, T3, T10, T11) 选择不将打分结果告诉学生。

在实施口头报告同伴互评的几位教师课堂中 (T4, T5和T6) , 学生也是评价标准的使用者。评价标准在口头报告任务之前就发给学生。T4的课堂中, 教师利用往届学生的报告范例说明每项标准的等级对应怎样的表现。T5的课堂中, 在与学生共同讨论之后, 评价标准被制作成清单 (checklist) 。当学生在展示口头报告时, 听众要勾选清单中完成度较好的方面, 并写下具体例子。

评价标准的使用目的方面, 访谈数据展现出从“产出分数”到“解决实际问题”的不同维度。大多数教师设计和实施口头报告任务的原因是“课程组要求的” (T1) , “英语课都会有口头报告这一项” (T8, T9, T10, T11) 、“调节一下课堂气氛” (T3) 。困扰教师的一大问题是, 学生作为听众时注意力往往不够集中。“学生会觉得因为老师自己懒, 才会让他们做英语口头报告” (T3) 。

T4和T6更注重口头报告任务的真实性, 将其目的定位成解决实际学习问题。学生所报告的内容不再是与别的同学无关的话题, 而是为了解决实际问题的有用信息。在T6的课中, 口头报告的主题涉及搜索和整理文献, 6位三组学生分别以CAJ Viewer, Note-express软件为话题, 展示运用软件做笔记的技能。另外两组学生的口头报告内容是如何帮本系教师搜索文献。在T4老师的课中, 做口头报告的学生们推销产品, 而听众则有权决定公司是否选择这项产品。任务的真实性使得报告内容与听众高度相关, “如何提高学生的参与度”问题得到较好解决, 也保证了在同一个课程模块下, 口头报告与其他课堂评价任务互为关联

5. 讨论

扎根于从数据中生成的四大类属, 审视类属间的关系, 本研究总结以下初步假设, 并与已有研究进行对话。扎根研究的发现并不应该被概括范化到所有的教师群体, 此研究路径的目的在于实现理论概况 (theoretical generalization) 。

1) 评价标准透明化是应该追求的目标, 试图将显性和隐性能力表达出来的过程促进教师和学生反思学习目标。

回应文献综述中关于评价标准透明化的争议, 本研究显示, 如果教师不帮助学生分辨口头报告能力的多重维度, 学生倾向于“笼统点评”, 对能力的具体构成不甚清楚;即使有针对性点评, 也主要从话题内容与自身的相关性评价同伴表现, 很难从不同角度去思考、评价和提高此项能力。本研究支持van Ginkel et al. (2015) 的提议:明白清晰地与学生沟通学习目标, 并将目标转写进评价标准中, 增加学生自我效能感, 从而提高口头报告能力。

值得指出的是, 透明化的本质是教师赋予学生理解和使用标准的机会, 并不仅仅意味着产出一份评价表格。纸质的标准代表的是形式上的透明公开, 但学生却有可能不理解每个维度的含义, 不清楚每个层级指向什么样的表现。实施多元评价, 让学生也有机会成为评价者是帮助标准透明化的有效途径。鼓励评价标准的透明化, 不仅会使学生在理解和使用标准的过程中受益 (朱妮娅 2018;刘睿、张德禄 2016) , 也会帮助教师在审视和表达学习目标、评价维度、层级描述的过程中发展评价知识和元认知能力。本研究中没有成文评价标准的教师, 对各评价维度的描述也是笼统概况的。访谈的T4, T5和T6, 都是努力追求评价标准透明化的教师, 也是认为自己具备评价知识的教师。评估素养的提高和对评价标准的思考是互相促进的关系。

2) 口头报告锻炼和发展多维能力, 为了减轻学生的认知负担, 教师应将准备和评价口头报告的步骤和需要使用的评价标准以直观具体的形式展现给学生。

口头报告任务需要直观的评价标准, 以帮助教师和学生关注从表层内容到深层能力的各项维度。教师不应只是简单地与学生口头交流, 最好是以文本形式发放以方便查看和使用。为减轻学生认知压力, 还可像T5那样将评价标准编写成checklist, 让学生勾选并写下例子。对优秀样例分析 (如T5让学生分析演讲视频的优缺点, T4针对往届学生视频的分析点评) 能够帮助学生将具体的表现与评价等级建立直观联系。

此外, 通讯科技也可助力多元评价系统的建立。本文所介绍的即时课堂通讯软件 (如图1所示) 让每个学生参与课堂评价, 标准内容直观可见, 是否匿名可由教师设置, 评价结果可当堂导出, 反馈给报告的学生。

3) 将口头报告的评价标准看作能力描述连续体的教师更易接受多元主体评价, 也更倾向将口头报告和课程中其他任务相联结, 共同指向课程的目标能力。

将评价标准看作筛选学生的门槛或学生应该模仿的样本的教师, 出于激发学生学习动力和保护创造力的考虑, 更倾向于隐藏评价标准和评价结果, 并全程主导评价标准的生成和使用。

而将评价标准看作能力连续体的教师, 更倾向于赋予学生评价的机会, 并试图将口头报告的能力与整个课程中的核心能力对接。这些教师非常注重口头报告和课程总目标、教师教学之间的构建式统一, 所设计的目标能力涉及综合信息、评价表现、联想创造等高阶学习能力。这些做法呼应了Biggs (2011) 建构性一致的理论模型, 不仅提高了评价任务的真实性, 也使得口头报告不再是一项孤立的展示和评价, 而是多元评价体系中有机的一环。评价、教学和课程之间的一致性极大促进了演讲者和听众对口头报告任务的投入程度。

本项发现对教学的启示是:口头报告在大学英语课程体系中被广泛使用, 不应采取一刀切的做法设定统一的标准, 而应具体细化并与课程目标保持一致。陈朗 (2010) 、朱妮娅 (2018) 和万江波 (2013) 对评价标准的设置即体现了这条原则。教师培训应引导教师考虑口头报告的任务目标和课程总目标之间的关系。教育部2018年公布的《中国英语能力等级量表》 (以下略作《量表》) 也可给教师以指引。根据《量表》所依据的“基于运用的语言能力框架” (刘建达 2015) , 与口头报告直接相关的维度包括“口头表达能力”“口头表达策略”“组构知识”“语用知识”“语用表达能力”等。纲领性文件可以帮助教师更好地理解口头报告的任务目标, 但教师在具体编写评价标准时, 侧重点应有所聚焦, 不应期待学生在一项口头任务中展示和发展所有能力。

研究将发现去具体化, 得出三个抽象程度更高的原则:评价标准的透明性、具体性和一致性。

6. 结语

本文以扎根理论为研究路径, 围绕口头报告任务中不同主体对评价标准的认识和实践, 探索如何设计和使用评价标准促进学生多维能力的发展。本研究还将得到的编码去具体化, 提出评价标准的透明性、具体性和一致性三原则。评价标准促进任务目标的透明化;直观具体的释例和现代科技的帮助改善评价标准的使用体验;口头报告的评价标准应与其他评价活动存在建构一致性, 共同指向课程目标。

本研究在方法上亦有创新。生成的理论和框架可看作研究口头报告这一现象的实质理论, 如果希望生成更有概括性的形式理论, 仍需针对其他课堂评价活动进行调研。学生在准备和参与口头报告时的认知和行为特点是后续研究的另一方向, 采用有声思维和叙事探究等方法, 有助于探究评价过程这一“黑匣子”。

编者按

参考文献略，欢迎查阅《外语教学》2019年第4期纸质原文。

本文编辑：上海理工大学孙雨

本文审核：吉林大学王峰

公众号外联：我们优先推广免费的学术会议、讲座、研修等项目。收费项目与商务合作需支持劳务费，请联系dianzishu@126.com 商谈。

继续为各位提供有益的学术资讯

长按二维码赞赏语言学通讯

文学悦读|《金瓶梅》：没有我，就没有《红楼梦》

文学悦读| 不读宋词，不足以谈感情

文学悦读| 拥有“林下风致”的气质美女教授：《中国诗词大会》之后再遇杨雨

文学悦读| 反乌托邦三部曲：焚书年代的奇品，对人类社会最深沉的反思。